Gia tộc của La Nghệ có nguồn gốc từ Tương Dương (襄陽, nay thuộc Tương Dương, Hồ Bắc), song đã di cư đến kinh thành Trường An vào thời Tùy. Phụ thân của La Nghệ là La Vinh (羅榮)- giám môn tướng quân của triều Tùy (một chức quan nhỏ). La Nghệ được mô tả là người thông minh, tự tin và tài năng trên chiến trường, song ương bướng. Do có công lao trên chiến trường, đến những năm cai trị sau của Tùy Dạng Đế, La Nghệ được trao chức 'Hổ Bôn lang tướng', đốc quân ở Bắc Bình (北平, nay thuộc Tần Hoàng Đảo, Hà Bắc), dưới quyền 'hữu vũ vệ đại tướng quân' Lý Cảnh (李景). La Nghệ nghiêm khắc rèn luyện kỷ luật binh sĩ, song bản thân ông lại tỏ ra ngạo mạn ngay cả với Lý Cảnh. Lý Cảnh thường quở trách La Nghệ, vì thế La Nghệ tức giận trong lòng.

Năm 616, Trác quận (涿郡, nay gần tương ứng với Bắc Kinh) lân cận liên tục bị quân khởi nghĩa nông dân cướp bóc do Tùy Dạng Đế cho tích trữ lương thực và để nhiều binh sĩ ở đây nhằm chuẩn bị tiến công Cao Câu Ly, và cũng do Lâm Sóc cung (臨朔宮) có nhiều đồ trân quý của hoàng gia. Các quan được giao nhiệm vụ lưu thủ thành gồm Triệu Thập Trụ (趙什住), Hạ Lan Nghị (賀蘭誼), và Tấn Văn Diễn (晉文衍) đều không thể ngăn nổi các cuộc tiến công cướp bóc, duy có La Nghệ xuất chiến là có thể chiếm ưu thế trước quân nổi dậy, vì thế uy thế của ông được nâng cao. Triệu Thập Trụ là người thống lĩnh, song ông ta rất nghi ngờ La Nghệ. La Nghệ tính đến chuyện nổi dậy chống lại triều đình Tùy, vì thế đã kích động binh sĩ khi tuyên ngôn:

Đến khi La Nghệ trở về sau một cuộc tiến công quân nổi dậy, ông đã bắt giữ quận thừa, Triệu Thập Trụ lo sợ nên đã quy phục. La Nghệ mở kho phân phát của cải cho binh sĩ và phân phát lương thực cho người dân nghèo khó, giết chết Bột Hải thái thú Đường Y (唐禕) và một số người bất đồng với ông. Một số thành trì của Tùy, xa về phía bắc đến Liễu Thành (柳城, nay thuộc Triều Dương, Liêu Ninh) và Hoài Viễn (懷遠, nay thuộc Thẩm Dương, Liêu Ninh) đã quy phục La Nghệ, La Nghệ tự xưng là tổng quản U châu (幽州, tức Trác quận).